立体的なレンダリングのための画像エンコード方法

专利摘要:
立体的レンダリングを可能にする画像エンコード方法は、基本的に以下のステップを有する。１次のエンコードステップＶＤＥ１において、視覚画像が標準に従ってエンコードされる。補助エンコードステップＧＲＥにおいて、前記視覚画像と関連する立体可能なデータが、関係する前記標準に従って前記視覚画像と結合できる補助画像であるかのようにエンコードされる。前記立体可能なデータは、前記視覚画像内のそれぞれの領域と仮想観察者との間のそれぞれの距離を示す、それぞれの値を有する。合成規定ステップＣＴＲ１において、前記標準に従って動作するデコード装置により、表示装置に伝達できる出力画像の少なくとも一つの特定領域内にグラフィック画像として前記立体可能なデータを含ませる合成規定が供給される。
公开号:JP2011508498A
申请号:JP2010539018
申请日:2008-12-17
公开日:2011-03-10
发明作者:フィリップ；スティーブン ニュートン；ウィルヘルムス ブルルス
申请人:コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ；
IPC主号:H04N13-00

专利说明:

[0001] 本発明は、主に立体的なレンダリングを可能にする画像エンコード方法に関する。この画像エンコード方法は、例えば、映画又は他のタイプのビデオの立体的なバージョンを有する光ディスク又は他のタイプのデータキャリアを作るために使用される。本発明の他の態様は、データキャリア、信号、画像エンコーダ、画像デコーダ及びプログラマブルプロセッサ用のコンピュータプログラムに関する。]
背景技術

[0002] ３次元（３Ｄ）視聴経験とも呼ばれる立体的な視聴経験は、シーンの異なる視野を観察者の左目及び右目に提示することにより達成できる。これらの異なる視野は、深度印象を供給するわずかに異なる角度から見られる関係するシーンを表す。立体的なレンダリングシステムは、システムが観察者に提示される必要がある異なる視野を引き出せるデータを受信する必要がある。この立体的なデータは、例えば、一対の視覚画像映像を有し、これら視覚映像の一方が左目視野を表わし、他方が右目視野を表す。これは、古典的手法である。]
[0003] あるいは、立体的なデータは、視覚画像と関連するいわゆる深度マップを有する。深度マップは一組の値と考えられ、それはマトリックスの形式である。各値は、視覚画像の特定領域に関係し、仮想観察者とその領域の対象物との間の距離を示す。関係する領域は、単一のピクセル又は矩形の形状若しくは他の形状を持つピクセルのクラスタを有する。プロセッサは、視覚画像及びこれに関連した深度マップに基づいて立体的レンダリングのために必要とされる異なる視野を生成できる。前記深度マップは、視覚画像の前方の対象物により、少なくとも部分的に閉塞される背景の対象物についての付加的情報を供給する閉塞データで完成される。]
[0004] ２００６年６月７日に登録されたヨーロッパ特許ＥＰ０８８８０１８Ｂ１は、立体的ビデオが記録される光ディスクに関係する。立体的画像の右目用信号及び左目用信号は、ＭＰＥＧエンコーダ（ＭＰＥＧはＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔｓＧｒｏｕｐの頭字語である）によりＭＰＥＧ信号に圧縮される。これらの信号は、フレームグループと一致するいわゆるインターリーブされたブロックを得るために、特定の形式でインターリーブされる。インターリーブされたブロックは、光ディスクの１回転より多く、１０回転より多くの回転に対して記録される。光ディスクは、現存の再生装置で単一視野（２Ｄ）を提供し、新規な再生装置で立体的視野（３Ｄ）を提供できることに注意されたい。]
発明が解決しようとする課題

[0005] 本発明の目的は、立体的画像レンダリングのコスト効率のよい展開を許容する解決案を提供することである。複数の独立請求項は、本発明の種々の態様を規定する。従属項は、本発明を有利に実行するための付加的特徴を規定する。]
[0006] 本発明は、以下のポイントを考慮する。立体的レンダリングのため一つ以上の新しい画像エンコード標準を念入りに作り上げることは可能である。実際に、斯様な標準についての作業は始まっている。しかしながら、斯様な標準を最終的にし、更に、新しい標準を成功して紹介するには、比較的長い時間がかかる。その間にも、立体的表示装置についての作業は進行しているので、新しく改善された立体的表示装置が近い将来、紹介されるだろう。これらの立体的表示は、コンテンツを必要とする。]
[0007] その上、新しい標準は、特に、当該新しい標準に従って記録されたデータ担体で、当該新しい標準を処理できる新しい再生装置を必要とするだろう。これらの新しい再生装置は、比較的コストがかかり、単一視野から立体的視野へアップグレードすることからユーザを思いとどまらせるだろう。ユーザは、新しい再生装置だけでなく、立体的レンダリングを可能にする新しい表示装置を購入する必要がある。その上、立体的バージョンのコンテンツは比較的種類がわずかで少ない。編集者は、少数の顧客だけが立体的バージョンをレンダリングするために必要な機器を持っているならば、立体的バージョンを作成するために新しい標準に投資することをためらうだろう。]
[0008] 考慮される他のポイントは、利用可能な帯域及び利用可能なデータ容量に関する。例えば、前述の従来技術に従って、２つのビデオストリームが光ディスクに記録され、一方のビデオストリームは左目用であり、他方のビデオストリームは右目用である。これは、２時間のモノラルビデオを有する光ディスクは、１時間だけのステレオ（立体的）ビデオを有することを意味する。記録及び再生時間が半分に低減される。]
[0009] 利用可能な帯域は、光ディスク又はそのための他のデータ担体にまさるポイントである。例えばＤＶＩ及びＨＤＭＩ（ＤＶＩは、ＤｉｇｉｔａｌＶｉｓｕａｌＩｎｔｅｒｆａｃｅの頭字語であり、ＨＤＭＩは、Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅの頭字語である）のような、表示装置と再生装置とのインタフェースのための普及した標準が存在する。これらの標準は、所与の画像解像度及び所与の画像レートと関連する所与の帯域を備える。原則として、立体的レンダリングのために、例えばＤＶＩ又はＨＤＭＩタイプの２つのインタフェースを備える再生装置だけでなく表示装置を提供することも可能である。しかしながら、これは比較的高価な解決策である。さらにまた、現存する装置は、一般的に一つだけのインタフェースを有する。]
課題を解決するための手段

[0010] 本発明によると、立体的レンダリングを可能にする画像エンコード方法は、基本的に以下のステップを有する。１次のエンコードステップにおいて、視覚画像は標準に従ってエンコードされる。補助のエンコードステップにおいて、視覚画像のそれぞれの領域と仮想観察者との間のそれぞれの距離を示すそれぞれの値を有する、視覚画像と関連する立体可能なデータが、関連する標準に従って視覚画像と結合できる補助画像であるかのようにエンコードされる。合成規定ステップにおいて、標準に従って動作するデコード装置に、表示装置に伝達できる出力画像の少なくとも一つの特定領域内に立体可能なデータを含ませる合成規定が供給される。]
[0011] 関係する標準は、例えば、ＤＶＤ標準又はブルーレイディスク標準のような現存の標準でもよい。立体的表示装置は、多くの異なる形式で出力画像内に含まれる立体可能なデータを容易に抽出する。従って、立体的表示装置に利用可能な立体的バージョンのコンテンツを作るための新しい標準の必要性が無い。完全に新しい再生装置の必要性が無い。必要ならば、存在する装置のための更新されたファームウェアバージョンが、立体的レンダリングを可能にするためには充分であろう。その上、本発明による画像エンコード方法は、利用可能な記録時間及び再生時間に対して比較的穏やかなインパクトを持つか、全くインパクトを持たないことさえある。更にその上、例えばＤＶＩタイプ又はＨＤＭＩタイプの単一の表示インタフェースが、立体的レンダリングのために充分である。要約すると、標準化されたモジュールから成る存在する拡張されたインフラが、立体的画像レンダリングを導入するためのプラットフォームとして使用できる。これらの理由により、本発明は、立体的画像レンダリングのコスト効率的な展開を可能にする。]
[0012] 本発明の実行は、個別の従属項に対応して別々の段落で説明される一つ以上の以下の追加の特徴を好適に有する。これら追加の特徴の各々は、立体的画像レンダリングのコスト効率的な展開の達成に貢献する。]
[0013] オリジナルの立体可能なデータは、エンコードされる立体可能なデータを得るために、好ましくは圧縮される。従って、出力画像の比較的小さな部分が、立体可能なデータを送るのに充分であるので、比較的大きな部分が視覚画像を送るのに利用可能である。このことは、高い解像度の立体的レンダリングに貢献する。]
[0014] オリジナルの立体可能なデータは、好ましくはサブサンプリングされるので、エンコードされる立体可能なデータは、オリジナルの立体可能なデータの解像度よりも低い解像度を持つ。このことは更に、高い解像度の立体的レンダリングに貢献する。この観点で、立体可能なデータの解像度の損失は復元できるので、サブサンプリングが高い解像度の立体的レンダリングと対立する必要がないことに注意されたい。]
[0015] 供給される合成規定は、デコード装置が、出力画像の以下のセットのライン、上位ラインのセット及び下位ラインのセットの少なくとも一方に、立体可能なデータの一部を挿入できるようにする。これは、特にシーンが比較的ワイドの場合、すなわち通常映画の場合の高解像度の立体的レンダリングに貢献する。]
[0016] 立体可能なデータは、以下の２つの標準、ＤＶＤ標準又はブルーレイディスク標準の少なくとも一方に従って、グラフィック画像としてエンコードできる。]
[0017] 合成規定は、グラフィック画像と関連する構成セグメント内に含まれ得る。]
[0018] 近似の態様を介して、立体可能なデータを表わす描画像が生成でき、前記描画像は描画プリミティブにより表わされ得る基本的グラフィック対象物を有する。]
[0019] 描画プリミティブの少なくとも一つのセットは、描画像に基づいて生成できる。]
[0020] 描画プリミティブは、ブルーレイディスク標準に従う双方向グラフィックデータストリームに含まれるＪａｖａ（登録商標）プログラムの形式で表され得る。]
[0021] 立体可能なデータは、ピクチャインピクチャ（ＰＩＰ）の形式で表示されるべき補助視覚画像としてエンコードできる。]
[0022] 供給される合成規定は、補助視覚画像が主視覚画像であり、主視覚画像がサブ画像であるかのように、関連するデコードプロセッサは、視覚映像の縮尺されたバージョンをピクチャインピクチャ（ＰＩＰ）の形式で補助視覚画像に挿入できる。]
[0023] 立体可能なデータは、視覚画像のそれぞれの領域と仮想観察者との間のそれぞれの距離を示すそれぞれの値を有する深度マップと、視覚画像の一つ以上の前景により、少なくとも部分的に閉塞される一つ以上の背景対象物を表す少なくとも一つの決定画像とのモザイクにより形成できる。閉塞画像は、高解像度の立体的なレンダリングに寄与する。]
[0024] 立体的レンダリングのための項目が選択されるとき、デコード装置が、表示装置に伝達されるべき出力画像の少なくとも一つの特定の領域に立体可能なデータを含むように、立体的レンダリングのための項目が合成規定と関連する、立体的レンダリングのための項目を有するメニューが規定できる。]
[0025] 図を参照した詳細な説明は、先に要約された本発明だけでなく付加的な特徴も説明する。]
図面の簡単な説明

[0026] 図１は、立体的なビデオ録画システムを例示するブロック図である。
図２は、立体的なビデオ録画システムで起こる、視覚画像を例示する画像線図である。
図３は、立体的なビデオ録画システムで起こる、視覚画像に関連する深度マップを例示する画像線図である。
図４は、図３に例示された深度マップをサブサンプリングすることにより得られた圧縮された深度マップを例示する画像線図である。
図５は、立体的レンダリングを供給できるビデオシステムを例示するブロック図である。
図６は、ビデオシステムの一部を形成する再生プロセッサの基本的な実施態様を例示するブロック図である。
図７は、再生装置がビデオシステムの表示装置に伝達する出力画像を例示する画像線図である。
図８は、ビデオシステムの一部を形成する表示プロセッサを例示するブロック図である。
図９は、表示プロセッサ内で取り出される視覚画像とそれに関連する近似の深度マップとを例示する画像線図である。
図１０は、表示プロセッサ内で生成される９つの異なる視野を例示する画像線図である。
図１１は、代替の立体的なビデオ録画システムを例示するブロック図である。
図１２は、代替の立体的なビデオ録画システムで起こる深度マップを例示する画像線図である。
図１３は、代替の立体的なビデオ録画システムで起こる描画像を例示する画像線図である。
図１４は、図１３に図示される描画像を作るＪａｖａ（登録商標）グラフィックプログラムを例示する線図である。
図１５は、他の代替の立体的なビデオ録画システムを例示するブロック図である。
図１６は、他の代替の立体的なビデオ録画システムで起こる視覚画像を例示する画像線図である。
図１７は、他の代替の立体的なビデオ録画システムで起こる視覚画像に関連するモザイク画像を例示する画像線図である。
図１８は、図５に図示されるビデオシステムの一部を形成する再生プロセッサの先進の実施態様を例示するブロック図である。
図１９は、再生プロセッサの先進の実施態様で起こるさまざまな画像を例示する画像線図である。
図２０は、再生プロセッサの先進の実施態様で起こるさまざまな画像を例示する画像線図である。
図２１は、再生プロセッサの先進の実施態様で起こるさまざまな画像を例示する画像線図である。
図２２は、再生プロセッサの先進の実施態様で起こるさまざまな画像を例示する画像線図である。] 図１ 図１０ 図１１ 図１２ 図１３ 図１４ 図１５ 図１６ 図１７ 図１８
実施例

[0027] 図１は、立体的な画像捕捉装置ＳＩＣ１及び光学レコーダＲＥＣ１を有する立体的なビデオ録画システムＲＳＹ１を例示する。立体的な画像捕捉装置ＳＩＣ１は、例えば、わずかに異なる角度の下でシーンを捕える一対のカメラを有する。これは、シーン内の対象物と仮想観察者としてみなせる立体的な画像捕捉装置ＳＩＣ１との間の距離を決定できる。他の技術も、斯様な距離を決定するため存在する。例えば、赤外線カメラが、レーダーのような手法で用いられてもよい。] 図１
[0028] 光学レコーダＲＥＣ１は、さまざまな機能的な構成要素である、ビデオエンコーダＶＤＥ１、深度マップ圧縮器ＣＭＰ、グラフィックエンコーダＧＲＥ、マルチプレクサＭＵＸ１及びコントローラＣＴＲ１を有する。これらの機能的構成要素のいずれも、プログラマブルプロセッサにロードされるソフトウエアプログラムによって実行されてもよい。ソフトウェアベースの実施態様において、ソフトウエアプログラムは、プログラマブルプロセッサに、関連する機能的な構成要素に属する特定の動作を行わせる。例えば、最適にプログラムされる単一のプログラマブルプロセッサが、上述した機能的な構成要素を実行してもよい。何れの機能的な構成要素も、処理ステップ又は一連の処理ステップとして等しくみなされ得る点に留意されたい。例えば、ビデオエンコーダＶＤＥ１は、ビデオエンコードステップを表し得る。機能的な構成要素は、これらが説明の容易さのためにステップよりはむしろ物理的構成要素であるかのように、説明されているだけである。]
[0029] 光学レコーダＲＥＣ１は、更に、ＤＶＤタイプ又はブルーレイディスクタイプ（ＤＶＤはＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋの頭字語である）でもよい光ディスクライターＯＤＷ１を有する。光ディスクライターＯＤＷ１は、データを書き込み可能な光ディスク上に直接書き込む。あるいは、光ディスクライターＯＤＷ１は、光ディスクの大量生産の基として役立ついわゆるマスターディスクを作ってもよい。]
[0030] 立体的なビデオ録画システムＲＳＹ１は、以下のように基本的に動作する。立体的な画像捕捉装置ＳＩＣ１は、関連するシーンのビデオを構成する一連の視覚画像ＶＩＳ１を供給する。視覚画像は、２次元である。立体的な画像捕捉装置ＳＩＣ１は、更に、一連の視覚画像ＶＩＳ１に伴う一連のいわゆる深度マップＤＭＳ１を供給する。深度マップは、特定の視覚画像と関連し、視覚画像のそれぞれの対象物が仮想観察者に対して持つそれぞれの距離についての情報を供給する。すなわち、深度マップは、視覚画像内のそれぞれの領域に対する深度情報を供給する。一連の深度マップは、３次元レンダリングとも呼ばれる、関連するシーンの立体的レンダリングを可能にする。]
[0031] 図２及び図３は、それぞれ、視覚画像ＶＩ１及びそれに関連する深度マップＤＭ１を例示する。深度マップＤＭ１は、各値が視覚画像ＶＩ１の特定ピクセルと関連する、値のマトリクス形式でもよい。ピクセルが特定対象物の特定の部分を表すので、当該ピクセルと関連する値は、この特定対象物のこの特定の部分が仮想観察者に対して持つ距離を表す。値が、その距離を表すさまざまな異なる様式がある。例えば、値は、関係する距離を直接示してもよい。別の例として、値は、左目視点及び右目視点に関係するピクセルに対する角度シフトの量を示してもよい。斯様な値は、一般にパララックス値又は視差値と呼ばれる。] 図２ 図３
[0032] 図３は、白黒画像を供給するグレイスケール値のマトリクスとして深度マップＤＭ１を表わす。グレイスケール値は、例えば、８ビットで表される。通常の表記において、これは、グレイスケール値が０と２５５との間の範囲内に含まれることを意味する。０のグレイスケール値は、仮想観察者からの最大可能な距離を示す。これは、図３の最も暗い可能性があるピクセルと対応する。これとは逆に、２５５のグレイスケール値は、仮想観察者から最小可能な距離を示す。これは、図３の最も明るい可能性があるピクセルと対応する。深度マップは、視覚画像の解像度と対応する空間的解像度を持つ。例えば、視覚画像及び深度マップは、１０８０ピクセルｘ１９２０ピクセルの空間的解像度を持つ。] 図３
[0033] 図１に示されるビデオエンコーダＶＤＥ１は、立体的な画像捕捉装置ＳＩＣ１が供給する一連の視覚画像ＶＩＳ１をエンコードする。従って、ビデオエンコーダＶＤＥ１は、例えばＭＰＥＧ—２及びＭＰＥＧ—４（ＭＰＥＧは、ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐの頭字語である）のようなＭＰＥＧ標準に従うビデオデータストリームＶＤＳ１を生成する。このように、ビデオデータストリームＶＤＳ１は、圧縮形式で一連の視覚画像ＶＩＳ１を表す。] 図１
[0034] 深度マップ圧縮器ＣＭＰは、立体的な画像捕捉装置ＳＩＣ１が供給する深度マップの空間的解像度を低減する。従って、深度マップ圧縮器ＣＭＰは、一連の圧縮深度マップＣＤＭＳを供給する。例えば、深度マップ圧縮器ＣＭＰは、水平及び垂直方向に深度マップをファクタ８でサブサンプリングする。前述されたように、視覚画像が１０８０ピクセルｘ１９２０ピクセルの空間解像度を持ち、深度マップが同じ解像度を持つとみなす。その場合、１３５ピクセルｘ２４０ピクセルの空間解像度を持つ圧縮画像が得られる。より少しのデータだけが深度マップを表すのに必要とされるように、サブサンプリング以外の技術が深度マップを圧縮するために用いられてもよい。例えば、深度マップを圧縮する際に起こった解像度の損失を補償するのを容易にする技術が用いられてもよい。]
[0035] 図４は、ファクタ８で図３に示された深度マップＤＭ１をサブサンプリングすることにより得られた圧縮深度マップＣＤＭを例示する。明確にするため、上述の画像が同様の大きさを持つように、圧縮深度マップは同じファクタによりアップスケールされた。図４は、空間解像度の損失が発生したことを明らかに示す。圧縮深度マップＣＤＭの値は、それに関係する視覚画像ＶＩ１内の８ピクセルのクラスタに対して適用する。] 図３ 図４
[0036] 値深度マップＣＤＭの値は深度情報を伝達するが、当該情報はピクセルに適用するクラスタ内の各ピクセルに対して必ずしも補正される必要は無い。ピクセルのクラスタは、特定の対象物に属するピクセルのグループ及び他の対象物に属するピクセルの他のグループを有していてもよい。１つの特定の対象物は、仮想の観察者に比較的近いが、他の特定の対象物は、仮想の観察者から比較的離れて配置されている。ピクセルのクラスタに付与する値は、ピクセルのグループの少なくとも１つのピクセルに対して正しくはないだろう。深度マップの斯様な不正確さによって、関係するシーンの立体的レンダリングの不自然な影響が潜在的に生じてしまう。]
[0037] しかしながら、比較的低い空間解像度を持つ深度マップに基づいて、シーンの自然な立体的レンダリングを可能にする技術がある。これらの技術の幾つかは、より正確である強化された深度マップを構成するため、深度マップに関連する視覚画像を使用する。視覚画像内にある高解像度情報が、深度マップの空間解像度を増大するために、効果的に使用される。例えば、国際出願公開番号ＷＯ２００５／０３４０３５で公開された国際出願は、深度マップを改善するための技術を記述する。出願人参照番号ＰＨ００６９５７を持つヨーロッパの出願は、効果的に使用できる他の技術を記述する。]
[0038] 例えば、視覚画像は、深度マップがクラスタに対して特定の値を供給するピクセルの当該クラスタが、前述の２つの異なる対象物をカバーするという決定を可能にする。例えば、２つの異なる対象物が輝度及びクロミナンスに関して異なる特性を持つので、斯様な決定がなされ得る。従って、視覚画像は、深度マップの不正確さを識別することを可能にする。その上、視覚画像は、適切な補正をすることを可能にする。２つの異なる対象物の各々に対して、関係する対象物に専ら属する一つ以上の隣接するピクセルのクラスタがあり、これらに対して深度マップは一つ以上の値を供給する。比較的正確な深度情報を供給するこれらの値は、不正確であるとわかった深度マップの値を置き換えることができる一組の適当な値を決めるために使用できる。]
[0039] 深度マップが、例えば、ＤＶＤディスク又はブルーレイディスクに記録されるべきグラフィック画像であるかのように、図１に図示されるグラフィックエンコーダＧＲＥは、一連の圧縮深度マップＣＤＭＳをエンコードする。従って、グラフィックエンコーダＧＲＥは、一連の視覚画像ＶＩＳ１に伴う、一連の深度マップＤＭＳ１を表すグラフィックデータストリームＧＤＳを供給する。ＤＶＤディスク又はブルーレイディスク記録の場合に、深度マップは、グラフィック画像に対する効率的なデータ圧縮技術であるランレングス符号化を採用するだろう。しかしながら、ランレングス符号化は、一般に、異なる性質である深度マップに対して比較的控えめな程度のデータ圧縮を供給するだろう。しかしながら、グラフィックデータストリームＧＤＳは、対象のＤＶＤディスク又はブルーレイディスク標準により特定される帯域幅要件に従わなければならない。この遵守は、充分な程度のデータ圧縮を供給する前述の深度マップ圧縮器ＣＭＰのおかげで達成される。その上、前述のように、このデータ圧縮から生じる空間解像度の損失は補償できる。] 図１
[0040] グラフィックデータストリームＧＤＳは、種々異なる目的のため異なるタイプのセグメントを有する。例えば、図１に図示される光学的レコーダＲＥＣ１がブルーレイディスク記録用に使用されるとする。その場合、グラフィックデータストリームＧＤＳは、いわゆるグラフィックオブジェクトセグメント及びいわゆる構成セグメントを有する。それらの画像がグラフィックオブジェクトであるかのように、グラフィックオブジェクトセグメントは、ランレングス符号化形式で圧縮された深度マップを坦持する。構成セグメントは、グラフィックオブジェクトが再生装置においてどのようにフォーマットされるべきかに関する情報を有する。このフォーマッティングは、例えば、クロッピング及びオブジェクト配置としての動作を含む。再生装置内のグラフィックプロセッサは、構成セグメントに含まれる情報に従って、グラフィックオブジェクトをいわゆるグラフィック平面に組み立てる。] 図１
[0041] 光学レコーダＲＥＣ１のコントローラＣＴＲ１は、グラフィックデータストリームＧＤＳ又はそれに関連するデータストリームが圧縮深度マップに関して適当なフォーマット情報を有することを確実にする。このフォーマット情報は、深度マップがグラフィック画像であるかのように、深度マップが表示装置のための出力画像にどのように含まれるべきかを示す。例えば、フォーマット情報は、再生装置が深度マップを上位部分及び下位部分に効率的に分割すべきことを示してもよい。フォーマット情報は、更に、再生装置が出力画像の最初の数ライン内に前記上位部分からの値を含むべきであり、出力画像の最後の数ライン内に前記下位部分からの値を含むべきことを示してもよい。出力画像の他のラインは、深度マップと関連する視覚画像を伝達する。このことは、これ以降より詳細に説明されるだろう。]
[0042] コントローラＣＴＲ１は、ビデオデータストリームＶＤＳ１及びグラフィックデータストリームＧＤＳが記録される光ディスクが、適切なアプリケーションデータを有することを更に確実にする。前記アプリケーションデータは、例えば、ユーザが２次元モード又は３次元モードの光ディスクに記録されたシーンを見ることができるメニューを有する。前記アプリケーションデータは、更に、一つ以上のメニュー項目に関連するさまざまな再生規定を有する。再生規定は、光ディスクに記録されたマルチメディアコンテンツの特定のレンダリングを供給できる。そのために、再生規定は、一つ以上の特定のデータストリーム、及び必要に応じて、その一つ以上の特定の部分を再生装置に選択させる。適用できる場合、再生規定は、更に、これらの選択されたデータストリーム及びその選択された部分に含まれるコンテンツの特定の構成を再生装置に作らせる。]
[0043] マルチプレクサＭＵＸ１は、光ディスクに記録されるべきすべてのデータを効果的にディスクデータストリームＤＤＳ１に結合する。マルチプレクサＭＵＸ１は、関係する光ディスクに適用できる標準に従って結合する。例えば、マルチプレクサＭＵＸ１は、異なるタイプのデータが互いに区別できる適当な見出しを挿入してもよい。マルチプレクサＭＵＸ１は、更に、例えばこれらの動作が適用できる標準の物理的側面に関係するので、コンテンツ独立であるさまざまな動作を実施する。例えば、マルチプレクサＭＵＸ１は、誤り訂正符号化を実施してもよい。]
[0044] 光ディスクライターＯＤＷ１は、従来の様式の書き込み可能な光ディスク上に、ディスクデータストリームＤＤＳ１を書き込む。あるいは、光ディスクライターＯＤＷ１は、一種のモールドであるマスターディスク上にディスクデータストリームＤＤＳ１を書き込んでもよい。その後マスターディスクは、ディスクデータストリームＤＤＳ１を有する光ディスクの大量生産用に使用できる。これらの光ディスクは、例えば、映画が録画されたＤＶＤのような読出し専用タイプである。]
[0045] 前述のように記録された光ディスクは、関係するシーンの立体的レンダリングを可能にする。そのために、光ディスクは、例えば、ＤＶＤ又はブルーレイディスク標準のような既存の標準に従って動作する再生装置で再生できる。新しい標準又は既存の標準の拡張のためのニーズはない。]
[0046] 図５は、再生装置ＰＬＹ及び表示装置ＤＰＬを有するビデオシステムＶＳＹを例示する。再生装置ＰＬＹは、例えば、ＤＶＤプレーヤ又はブルーレイディスクプレーヤである。再生装置ＰＬＹは、例えば、ＤｉｇｉｔａｌＶｉｓｕａｌＩｎｔｅｒｆａｃｅ（ＤＶＩ）又はＨｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ（ＨＤＭＩ）のような標準化された接続ＣＸを介して表示装置ＤＰＬと通信する。表示装置ＤＰＬは、レンチキュラースクリーンを持つ自動立体的なタイプでもよい。斯様な表示装置ＤＰＬは、ユーザが特定のメガネをかける必要なしに、３次元視聴経験を供給する立体ビデオを見ることを可能にする。ビデオシステムＶＳＹは、更に、ユーザが表示装置ＤＰＬだけでなく再生装置ＰＬＹを制御できる遠隔制御装置ＲＣＤを有する。例えば、ユーザは、遠隔制御装置ＲＣＤによって項目をユーザが選択するメニューをビデオシステムＶＳＹに表示させる。] 図５
[0047] 再生装置ＰＬＹは、光ディスクリーダーＯＤＲ、再生プロセッサＰＲＰ、表示インタフェースＤＩＰ、及び主コントローラＣＴＭを有する。再生装置ＰＬＹは、更に、ネットワークＮＷを介してリモートサーバＳＲＶと通信するためのネットワークインターフェースＮＩＦを有する。再生プロセッサＰＲＰは、適切なソフトウエアプログラムでロードされたプログラマブルプロセッサの形式でもよい。同じことが、主コントローラＣＴＭ並びに少なくとも一部の表示インタフェースＤＩＰ及びネットワークインターフェースＮＩＦに当てはまる。例えば、再生プロセッサＰＲＰ及び主コントローラＣＴＭのようなさまざまな機能的構成要素は、単一のプログラマブルプロセッサによって実行されてもよい。]
[0048] 表示装置ＤＰＬは、表示インタフェースＤＩＤ、表示プロセッサＰＲＤ、表示コントローラＣＴＤ、及び立体的ビデオレンダリング可能なスクリーンを有する。例えば、スクリーンＳＣＲは、液晶（ＬＣＤ）表示及び１枚のレンチキュラレンズを有する。レンチキュラレンズは、観察者の左目及び右目が異なるピクセルから光を受けるように、ディスプレイから放射する光を回析する。従って、一組のピクセルによって表示される一方の視野は、左目の方向に向けることができる。ピクセルの異なるセットによって同時に表示される他方の視野は、右目の方向に向けることができる。このように、斯様な自動立体的スクリーンは、複数の視野をレンダリングするために解像度を犠牲にする。立体画像は、このように例えば９６０ピクセルｘ５４０ピクセルのような比較的大きくない解像度を持つ。表示プロセッサＰＲＤは、適切なソフトウエアプログラムでロードされたプログラマブルプロセッサの形式でもよい。同じことが、表示コントローラＣＴＤ及び少なくとも一部の表示インタフェースＤＩＤにも当てはまる。]
[0049] ビデオシステムＶＳＹは、以下の通りに基本的に動作する。ユーザは、図１—図４を参照して前述されたように作られた光ディスクを再生装置ＰＬＹに正に挿入したとする。最初のフェーズにおいて、主コントローラＣＴＭは、光ディスクに格納されたアプリケーションデータを光ディスクリーダーＯＤＲに読み込ませる。主コントローラＣＴＭは、表示装置ＤＰＬによってメニューをユーザに提示するために、アプリケーションデータを使用する。メニューは、例えば、２次元モード又は３次元モードでの所与のタイトルの再生を提案する。ユーザが、光ディスクにあるマルチメディアコンテンツの特定のレンダリングである３次元モードを選択するとする。選択に応じて、主コントローラＣＴＭは、アプリケーションデータに含まれ、３次元モードと関連する一つ以上の再生規定に基づいて再生プロセッサＰＲＰを適切に設定する。主コントローラＣＴＭは、ユーザが選択した特定のレンダリングを確実にするために更なる動作を実施する。] 図１ 図４
[0050] 最初のフェーズが完了されると、光ディスクリーダーＯＤＲは、対象のマルチメディアコンテンツを有するディスクデータストリームＤＤＳ１を供給する。最初のフェーズで適切に設定された再生プロセッサＰＲＰは、ユーザが選択した特定のレンダリングと一致する視聴覚データストリームＡＶＤを得るために、ディスクデータストリームＤＤＳ１を処理する。視聴覚データストリームＡＶＤは、例えば、ビデオ及びグラフィックのような種々異なるタイプのコンテンツの構成である出力画像を有する。加えて、再生プロセッサＰＲＰは、表示装置ＤＰＬがこのデータストリームを正しく解釈するのを援助するために、視聴覚データストリームＡＶＤ内に付加的情報を含んでもよい。このことは、これ以降より詳細に説明されるだろう。視聴覚データストリームＡＶＤは、再生装置ＰＬＹと表示装置ＤＰＬとの間の上述した表示インタフェースＤＩＰ、ＤＩＤ及び接続ＣＸを介して、表示装置ＤＰＬの表示プロセッサＰＲＤに達する。表示プロセッサＰＲＤは、スクリーンＳＣＲ用の駆動信号ＤＲＳを作るために、視聴覚データストリームＡＶＤを処理する。]
[0051] 図６は、ＤＶＤ標準又はブルーレイディスク標準に従って動作できる再生プロセッサＰＲＰの基本的な実施態様を例示する。この実施態様は、基本的な再生プロセッサＰＢＢとこれ以降呼ばれる。基本的な再生プロセッサＰＢＢは、さまざまな機能的な構成要素である、フロントエンドのモジュールＦＥＭ１、ビデオデコーダＶＤＤ、グラフィックデコーダＧＲＤ、合成モジュールＣＯＭ及び内部コントローラＣＴＰを有する。フロントエンドのモジュールＦＥＭ１は、適切なソフトウエアプログラムでロードされたプログラマブルプロセッサの形式でもよい。同じことが、他の機能的構成要素にも当てはまる。すべての機能的構成要素は、最適にプログラムされた単一のプロセッサに結合されてもよい。] 図６
[0052] 再生プロセッサＰＲＰは、以下の通りに基本的に動作する。フロントエンドのモジュールＦＥＭ１は、多重化形式のディスクデータストリームＤＤＳ１内にある種々異なるデータストリームを取り出すために、光ディスクリーダーＯＤＲからのディスクデータストリームＤＤＳ１を処理する。そのために、フロントエンドモジュールＦＥＭ１は、エラーデコード及びデマルチプレクサを含む、さまざまな動作を実施する。従って、フロントエンドのモジュールＦＥＭ１は、図１に図示されるマルチプレクサＭＵＸ１に付与されたグラフィックデータストリームＧＤＳ及びビデオデータストリームＶＤＳ１を取り出す。] 図１
[0053] ビデオデコーダＶＤＤは、図１に図示されるビデオエンコーダＶＤＥ１に付与された一連の視覚画像ＶＩＳ１、又はむしろその近似を得るために、ビデオデータストリームＶＤＳ１をデコードする。グラフィックデコーダＧＲＤは、図１に図示されるグラフィックエンコーダＧＲＥに付与された一連の圧縮深度マップＣＤＭＳを得るために、グラフィックデータストリームＧＤＳをデコードする。グラフィックデコーダＧＲＤは、更に、上述されたようにグラフィックデータストリームＧＤＳに含まれるフォーマット情報を取り出す。前記フォーマット情報は、表示装置ＤＰＬに対する出力画像に深度マップがどのように含まれるべきかを示すことを想起されたい。] 図１
[0054] 合成モジュールＣＯＭは、一連の視覚画像ＶＩＳ１、一連の圧縮深度マップＣＤＭＳ及びフォーマット情報に基づいて、視聴覚データストリームＡＶＤを供給する。視聴覚データストリームＡＶＤは、図５に図示される接続ＣＸを介して表示装置ＤＰＬに伝達される一連の出力画像を有する。出力画像は、視覚画像及びそれに関連する圧縮深度マップの合成である。合成モジュールＣＯＭは、圧縮深度マップがグラフィック画像であるかのように、フォーマット情報に基づいて斯様な合成を作る。合成モジュールＣＯＭは、グラフィックデコーダＧＲＤから直接に、又は内部コントローラＣＴＰを介してフォーマット情報を得る。後者の場合、内部コントローラＣＴＰは、合成モジュールＣＯＭに付与するフォーマット情報を一つ以上の合成命令に効果的に翻訳する。いずれにせよ、ビデオ情報がグラフィックス情報で覆われる標準画像を作る必要があるかのように、合成モジュールＣＯＭは標準動作を実施する。] 図５
[0055] 図７は、視聴覚データストリームＡＶＤ内の出力画像ＯＩを例示する。出力画像ＯＩは、例えば１９２０ピクセルｘ１０８０ピクセルのマトリクスの形式でもよい。すなわち、出力画像ＯＩは、各ライン１９２０ピクセルの１０８０本のラインを有する。出力画像ＯＩは、視覚画像を伝達する主要部分を有する。一組の上位ラインＵＬ及び一組の下位ラインＬＬは、視覚画像と関連する圧縮深度マップを伝達する。そのために、圧縮深度マップは、上位半分及び下位半分へ効果的に分割された。一組の上位ラインＵＬは圧縮深度マップの上位半分を伝達するが、一組の下位ラインＬＬは圧縮深度マップの下位半分を伝達する。逆のことが、フォーマット情報に依存して適用されてもよい。このように、一組の上位ラインＵＬ及び一組の下位ラインＬＬは、圧縮深度マップからの値を集合的に担持する。斯様な値は、視覚画像のピクセルのクラスタに適用する深度の指標を構成することを想起されたい。例えば、前述のようにファクタ８でサブサンプリングすることにより圧縮深度マップが得られた場合、値は視覚画像内の８ピクセルのクラスタに適用する。] 図７
[0056] 合成モジュールＣＯＭが深度情報を伝達するために出力画像のピクセルを効果的に使用する多くの異なる態様がある。例えば、出力画像内に所与の位置を持つピクセルは、圧縮深度マップ内の所与の位置の値と一致するグレイスケール値を与えられる。圧縮深度マップが２４０ｘ１３５の値によるマトリクスを構成するとする。すなわち、深度マップは、各ライン２４０個の値の１３５ラインを有する。その場合、出力画像の第１のラインの最初の１３５個のピクセルは、深度マップの第１のラインのそれぞれの値と一致するそれぞれのグレイスケール値を与えられる。ピクセル１３６から２７０と呼ばれる出力画像の第１のラインの次の１３５個のピクセルは、深度マップの第２のラインのそれぞれの値と一致するそれぞれのグレイスケール値を与えられる等である。深度マップからの値は、出力画像のピクセルを特徴づける何れの所与のタイプの値又は一組の値にマップできることに留意されたい。グレイスケール値は、単なる例である。]
[0057] 深度情報を伝達するため出力画像のピクセルを使用するより効率的な態様は、以下の通りである。出力画像のピクセルは、通常、ピクセルの外観を決定する３つの成分を有する。例えば、出力画像がいわゆるＲＧＢフォーマットである場合、ピクセルは赤の成分、緑の成分及び青の成分を持つ。出力画像がいわゆるＹＣＣフォーマットである場合、ピクセルは輝度成分、第１のクロミナンス成分及び第２のクロミナンス成分を持つ。いずれにせよ、ピクセルの各成分は、深度指標を構成する特定の値を坦持する。従って、ピクセルは、深度マップから３つの異なる値を伝達する。前述のように深度マップの１ラインが１３５個のピクセルを有する場合、当該ラインは出力画像の４５個のピクセルに収容できる。この点で、８ビット値は、通常、十分に正確な深度指標を供給することに留意されたい。１ピクセルの成分は、通常、８ビットによって表される。ある意味では、ピクセル成分解像度は、深度情報解像度に合致する。]
[0058] 図６に例示される合成モジュールＣＯＭは、出力画像にヘッダを埋め込む。一連のビット又は一連のバイトの形式であるヘッダは、深度情報が出力画像内のどこにあるかの指標を供給する。例えば、ヘッダは、出力画像の最初の５本のライン及び最後の５本のラインが深度マップから生じる値を有することを示す。ヘッダは、更に、深度マップから出力画像へマッピングされた値に従ったスキームを示してもよい。ヘッダは、出力画像を適切にレンダリングするために有効である他の指標を供給してもよいし、又は、むしろ視覚画像が有してもよい。] 図６
[0059] ヘッダは、以下の態様で出力画像に埋め込まれる。一組のピクセルが、ヘッダからのビットのキャリアとして指定される。一組のピクセルは、前記組に属する何れの所与のピクセル対間でも、前記セットに属しない出力画像の少なくとも一つのピクセルがあるように、好ましくは指定される。換言すれば、出力画像の２つの隣接するピクセルがヘッダビットキャリアとして役立つことが防止される。セットの一部を形成する各ピクセルに対して、所与のピクセル成分は、ヘッダからの一つ以上のビットと一致する値を割り当てられる。好ましくは、所与のピクセル成分の各ビットは、ヘッダからの特定のビットを表す同一の値を割り当てられる。斯様な冗長性は、ヘッダを輝度の変化、コントラスト設定の変化及びノイズの変化に対してより強くする。いずれにせよ、合成モジュールＣＯＭは、ピクセルとヘッダ情報を坦持するピクセル成分とを定める特定のヘッダ埋め込みスキームを適用する。]
[0060] 図８は、表示インタフェースＤＩＤ及び表示コントローラＣＴＤと共に、表示プロセッサＰＲＤ又はむしろその実施態様を例示する。表示プロセッサＰＲＤは、さまざまな機能的構成要素であるヘッダ解析器ＨＤＡ、分解モジュールＤＣＯ、マルチ視野生成モジュールＭＶＧ及び混交モジュールＩＷＶを有する。ヘッダ解析器ＨＤＡは、適切なソフトウエアプログラムでロードされたプログラマブルプロセッサの形式でもよい。同じことが他の機能的構成要素にも当てはまる。すべての機能的構成要素又はその少なくとも一部は、適切にプログラムされた単一のプロセッサで連帯的に実行されてもよい。] 図８
[0061] 表示プロセッサＰＲＤは、基本的に以下のように動作する。ヘッダ解析器ＨＤＡは、前述のように出力画像に埋め込まれたヘッダを抽出する。そのために、ヘッダ埋め込みスキームは、ヘッダ解析器ＨＤＡに予めプログラムされてもよい。あるいは、再生装置ＰＬＹは、例えば、表示装置ＤＰＬが再生装置ＰＬＹに接続されるとき起こる初期化フェーズの間、ヘッダ埋め込みスキームを表示装置ＤＰＬと通信してもよい。ヘッダ解析器ＨＤＡは、ヘッダ情報を分解モジュールＤＣＯと直接通信する。あるいは、表示コントローラＣＴＤは、分解モジュールＤＣＯを適切に設定するために、ヘッダを解釈してもよい。]
[0062] いずれにせよ、分解モジュールＤＣＯは、いわば、深度情報が出力画像のどこにあるかを知っている。分解モジュールＤＣＯは、このように、視聴覚データストリームＡＶＤの出力画像に共同して含まれる視覚画像及び圧縮深度マップを取り出せる。図７を参照すると、分解モジュールＤＣＯは、深度情報を有する上位ラインＵＬのセット及び下位ラインＬＬのセットを効果的に取り除き、これらのラインは表示されない。] 図７
[0063] 分解モジュールＤＣＯは、更に、圧縮深度マップを近似の深度マップに変える。近似の深度マップは、圧縮深度マップより正確である。精度のこのゲインは、深度情報と相関される比較的高解像度の視覚情報を有する、視覚画像のおかげで達成される。従って、分解モジュールＤＣＯは、圧縮深度マップの深度情報が不正確である領域を識別できる。その上、分解モジュールＤＣＯは、視覚画像及び圧縮深度マップに含まれる情報に基づいて、適切に補正でき、よって精度を増強できる。このことは、図１に図示される深度マップ圧縮器ＣＭＰを参照して、より詳細に説明された。] 図１
[0064] 図９は、分解モジュールＤＣＯが供給する視覚画像ＶＩ及びそれに関連する近似の深度マップＤＭを例示する。視覚画像ＶＩは、木の前にある住宅を表す。住宅及び木は、深度マップでも識別できる。より正確に言うと、木は白色の面を囲むアウトラインを持ち、木が仮想観察者に比較的近いことを示す。住宅は灰色がかった面を囲むアウトラインを持ち、住宅が木より仮想観察者から更に離れて位置することを示す。深度マップＤＭの暗い領域は、視覚画像ＶＩの背景と一致する。何れの背景対象物も、仮想観察者から比較的遠くに位置されている。] 図９
[0065] 図１０は、マルチ視野生成モジュールＭＶＧが視覚画像及び近似の深度マップに基づいて生成する９つの異なる図を例示する。斯様な一組の視野は、これ以降マルチ視野画像ＭＶＩと呼ばれるだろう。各視野は、特定の視野位置から見られた住宅及びその前方の木を表す。すなわち、わずかに異なる９つの視野位置がある。視野位置のわずかな変化によって、木の比較的大きな変位が生じる。これは、木と仮想観察者との間の比較的小さな距離に起因する。対照的に、住宅は仮想観察者から更に離れて位置されるので、住宅は、視野全体にわたって比較的小さな程度で移動する。] 図１０
[0066] マルチ視野生成モジュールＭＶＧは、近似の深度マップに基づいて、２つの異なる視野間の対象物の適当な変位を決定する。対象物が仮想観察者により間近であるほど、変位は、より大きい。視覚画像内のいわば深く位置される対象物は、比較的小さな変位を受けるか、又は同じ位置のままでさえある。従って、３次元経験は、近似の深度マップに基づいて作られる。]
[0067] マルチ視野生成は、分解モジュールＤＣＯが供給する一連の視覚画像ＶＩＳ及びそれに伴う一連の近似深度マップＡＤＭＳに基づいて、一連のマルチ視野画像ＭＶＩＳを供給する。混交モジュールＩＷＶは、駆動信号ＤＲＳによってスクリーンＳＣＲにマルチ視野画像を送る。スクリーンＳＣＲは、前述されたように自動立体的なタイプであり、１枚のレンチキュラレンズを有する。その場合、混交モジュールＩＷＶは、特定の視野が、１枚のレンチキュラレンズに関して特定の位置を持つスクリーンＳＣＲ上の特定のセットのピクセルに適用されることを確実にする。従って、中間モジュールは、各視野が、いわば、適当な方向に放射されることを確実にする。これは、観察者がかけなければならない特定のメガネを必要としない立体的な視野経験を可能にする。]
[0068] 図１１は、これ以降、プログラム適応立体的ビデオ録画システムＲＳＹ２と呼ばれる他の立体的なビデオ録画システムＲＳＹ２を例示する。プログラム適応立体的ビデオ録画システムＲＳＹ２は、例えば、ブルーレイディスク標準に従う光ディスクを作るために使用される。プログラム適応立体的ビデオ録画システムＲＳＹ２は、立体的画像捕捉装置ＳＩＣ２とプログラム適応光学レコーダＲＥＣ２とを有する。立体的画像捕捉装置ＳＩＣ２は、前述された図５に図示される立体的画像捕捉装置ＳＩＣ１と同様である。] 図１１ 図５
[0069] プログラム適応光学レコーダＲＥＣ２は、２つの特定の機能的構成要素である描画生成器ＤＰＧ及びＪａｖａ（登録商標）—プログラム生成器ＪＳＧ（Ｊａｖａ（登録商標）は、サン・マイクロシステムズの登録商標である）を有する。プログラム適応光学レコーダＲＥＣ２は、更に、機能的構成要素であるビデオエンコーダＶＤＥ２、マルチプレクサＭＵＸ２、コントローラＣＴＲ２及び光ディスクライターＯＤＷ２を有する。これらの機能的構成要素は、前述された図５に図示される対応の機能的構成要素と同様である。何れの機能的構成要素も処理ステップ又は一連の処理ステップとして等しくみなせることに留意されたい。例えば、ビデオエンコーダＶＤＥ２は、ビデオエンコードステップを表せる。機能的構成要素は、説明の容易さの理由で、これらがステップよりもむしろ物理的エンティティであるかのように説明されるだけである。] 図５
[0070] プログラム適応立体的ビデオ録画システムＲＳＹ２は、基本的に以下の通りに動作する。描画像生成器ＤＰＧは、立体的画像捕捉装置ＳＩＣ２から、一連の深度マップＤＭＳ２を受け取る。受け取りに応じて、描画像生成器ＤＰＧは、一連の描画像ＤＰＳを供給する。描画像は、立体的画像捕捉装置ＳＩＣ２からの深度マップの近似を構成する。この近似は、描画プリミティブによって表される基本のグラフィックオブジェクトによってなされる。例えば、直線のラインは、描画ベクトルによって表される。]
[0071] 図１２及び図１３は、描画像生成器ＤＰＧが生成した深度マップＤＭ２及び描画ＤＰをそれぞれ例示する。深度マップＤＭ２は、前景が男性であり背景が飛行機である視覚画像に関連する。従って、深度マップＤＭ２は、男性のアウトラインと一致するアウトラインを持つ白色の対象物と、飛行機のアウトラインと一致するアウトラインを持つグレイの対象物とを有する。描画像ＤＰは、男性のアウトラインに近い白色の多角形と、飛行機のアウトラインに近いグレイの多角形とを有する。白色の多角形は、白色を示す色充填パラメータ及び描画像ベクトルのセットとして表され、グレイの多角形は、グレイを示す他の色充填パラメータ及び描画ベクトルの他のセットとして表される。] 図１２ 図１３
[0072] 図１４は、Ｊａｖａ（登録商標）プログラム生成器ＪＳＧが描画像の対象物のために生成するＪａｖａ（登録商標）グラフィックプログラムＪＸを例示する。Ｊａｖａ（登録商標）グラフィックプログラムＪＸは、関係する対象物のアウトラインを表す一組の描画プリミティブを有する。Ｊａｖａ（登録商標）グラフィックプログラムＪＸは、更に、カラー規定を有する。カラー規定は、仮想観察者に対して関係する対象物の距離を適切に表す深度マップからの値を表す。よって、深度マップで起こる異なる値の範囲は、Ｊａｖａ（登録商標）グラフィックプログラムに対する異なる色の範囲にマッピングできる。異なる色の範囲は、例えば、グレイスケール値を有する。よって、図１１に図示されるＪａｖａ（登録商標）プログラム生成器ＪＳＧは、図１３に図示される描画像のためのＪａｖａ（登録商標）グラフィックプログラムの２つのセット、男性に対する１つのセット及び飛行機に対する他のセットを生成する。] 図１１ 図１３ 図１４
[0073] マルチプレクサＭＵＸ２は、Ｊａｖａ（登録商標）グラフィックプログラム生成器ＪＳＧから、Ｊａｖａ（登録商標）グラフィックプログラムＪＸＳのストリームを受け取る。マルチプレクサＭＵＸ２は、更に、立体的画像捕捉装置ＳＩＣ２が供給する一連の視覚画像ＶＩＳ２をエンコードすることによりビデオエンコーダＶＤＥ２が生成するビデオデータストリームＶＤＳ２を受信する。マルチプレクサＭＵＸ２は、前述したように図１に図示されるマルチプレクサＭＵＸ１の形式と同様の形式で動作する。すなわち、マルチプレクサＭＵＸ２は、光ディスクに記録されるべきすべてのデータをディスクデータストリームＤＤＳ１に効果的に結合し、当該データは、Ｊａｖａ（登録商標）グラフィックプログラムＪＸＳのストリーム及びビデオデータストリームＶＤＳ２を含む。光ディスクライターＯＤＷ２は、前述したように図１に図示される光ディスクライターＯＤＷ１の形式と同様の形式で動作する。従って、図１１に図示されるプログラム適応立体的ビデオ録画システムＲＳＹ２によって記録された光ディスクが、ブルーレイディスク再生装置で、関係するシーンの立体的なレンダリングを可能にする。新しい標準又はブルーレイディスク標準の拡張のニーズがない。] 図１ 図１１
[0074] ブルーレイディスク再生装置が、図１１—図１４を参照して前述されたように記録された光ディスクを読み出すとする。ブルーレイディスク再生装置は、図５に図示される再生装置ＰＬＹと同様である。ブルーレイディスク再生プロセッサは、図６に図示される基本的な再生プロセッサＰＢＢと同様である。すなわち、ブルーレイディスク再生プロセッサのフロントエンドのモジュールは、ディスクデータストリームＤＤＳ２からのビデオデータストリームＶＤＳ２と、Ｊａｖａ（登録商標）グラフィックプログラムＪＸＳのストリームとを取り出す。ブルーレイディスク再生プロセッサのＪａｖａ（登録商標）グラフィックプログラムデコーダは、Ｊａｖａ（登録商標）グラフィックプログラムＪＸＳのストリームから、描画像のストリームを再構築する。ビデオデコーダは、視覚画像のストリームを得るために、ビデオデータストリームＶＤＳ２をデコードする。合成モジュールは、一連の出力画像を有する視聴覚データストリームを供給する。これらの出力画像は、深度情報を表す描画像及び視覚画像に基づく合成である。出力画像は、図７に図示される出力画像ＯＩと同様である。描画像は、出力画像の第１のラインのセット及び最後のラインのセットに含まれ、これらのラインが深度情報を伝達する。] 図１１ 図１４ 図５ 図６ 図７
[0075] 図１５は、これ以降ＰＩＰ適応立体的ビデオ録画システムＲＳＹ３と呼ばれる他の代わりの立体的ビデオ録画システムＲＳＹ３を例示する。ＰＩＰ適応立体的ビデオ録画システムＲＳＹ３は、例えば、ブルーレイディスク標準に従う光ディスクを作るために使用される。ＰＩＰ適応立体的ビデオ録画システムＲＳＹ３は、立体的画像捕捉装置ＳＩＣ３とＰＩＰ適応光学レコーダＲＥＣ３とを有する。] 図１５
[0076] 立体的画像捕捉装置ＳＩＣ３は、前述されたような図５に図示される立体的画像捕捉装置ＳＩＣ１と同様である。すなわち、立体的画像捕捉装置ＳＩＣ３は、一連の視覚画像ＶＩＳ３及び一連の深度マップＤＭＳ３を供給する。加えて、立体的画像捕捉装置ＳＩＣ３は、一連の閉塞画像ＯＣＩＳ及び一連の閉塞深度マップＯＤＭＳを供給する。閉塞画像及び閉塞深度マップは、特定の視覚画像と関連している。閉塞画像は、一つ以上の前景対象物により、少なくとも部分的に塞がれる一つ以上の背景対象物についての情報を供給する。すなわち、閉塞画像は、閉塞により視覚画像内に見ることができない対象物又は対象物の一部を有する。閉塞深度マップは、閉塞画像内に表される斯様な対象物又は対象物の一部に関係する深度情報を供給する。] 図５
[0077] 一連の閉塞画像ＯＣＩＳ及び一連の閉塞深度マップＯＤＭＳは、立体的ビデオレンダリングシステムが偽信号なく立体的な視聴経験を供給する際の補助を行う。これは、図９及び図１０を参照して説明される。図９に表される視覚画像において、木は、住宅の一部を閉塞する。図１０に表される９つの視野において、閉塞される住宅の部分は、図９に表わされる視覚画像と一致する中間の視野を除いて、部分的に見えるようになる。すなわち、立体的レンダリングのために生成される視野は、立体的レンダリングの基になる視覚画像に存在しない部分を有する。いわゆるホール充填技術によって視覚画像にある情報に基づいて、これら欠けた部分をほぼ再構築することは可能である。しかしながら、部分的に塞がれる対象物が仮想観察者から比較的遠く離れている場合、ホール充填技術は不充分である。] 図１０ 図９
[0078] 閉塞画像は、視覚の画像に欠けているが、立体的レンダリングのため異なる視野の適当なセットを生成するために必要とされる部分を有する。閉塞画像は、好ましくは、視覚画像の閉塞された領域の関連した境界部分だけを有する。閉塞深度マップは、関連する閉塞画像に表される、欠けている部分に関係する深度情報を供給する。]
[0079] ＰＩＰ適応光学レコーダＲＥＣ３は、２つの特定の機能的構成要素であるモザイク画像コンポーザーＭＩＣ及び第２のビデオエンコーダＳＶＤＥを有する。ＰＩＰ適応光学レコーダＲＥＣ３は、更に、マルチプレクサＭＵＸ３、コントローラＣＴＲ３及び光ディスクライターＯＤＷ３だけでなく、図１に図示されるビデオエンコーダＶＤＥ２とコンパチブルな１次のビデオエンコーダＰＶＤＥを有する。これらの最後に言及された機能的構成要素は、前述されたように図１に図示される対応する機能的な構成要素と同様である。何れの機能的な構成要素も、処理ステップ又は一連の処理ステップとして等しくみなせることに留意されたい。例えば、１次のビデオエンコーダＰＶＤＥは、１次のビデオエンコードステップを表す。機能的構成要素は、説明の容易さのため、これらがステップよりもむしろ物理的エンティティであるかのように説明されるだけである。] 図１
[0080] ＰＩＰ適応立体的ビデオ録画システムＲＳＹ３は、基本的に以下の通りに動作する。１次のビデオエンコーダＰＶＤＥは、一連の視覚画像ＶＩＳ３をエンコードすることにより、主要なビデオデータストリームＰＶＤＳを供給する。主要なビデオデータストリームＰＶＤＳは、図１に図示されるビデオエンコーダＶＤＥ１により作られるビデオデータストリームＶＤＳ１に相当する。モザイク画像コンポーザーＭＩＣは、立体的画像捕捉装置ＳＩＣ３から一連の深度マップＤＭＳ３、一連の閉塞画像ＯＣＩＳ及び一連の閉塞深度マップＯＤＭＳに基づいて、モザイク画像ＭＩＳのストリームを供給する。モザイク画像は、全て同じ視覚画像と関係する深度マップ、閉塞画像及び閉塞深度マップのモザイクである。] 図１
[0081] 図１６及び図１７は、視覚画像ＶＩ３とそれに関連するモザイク画像ＭＩを例示する。モザイク画像ＭＩは、４象限である左上象限、右上象限、左下象限、及び右下象限を持つ。左上象限は、空である。右上象限は、これ以降、縮尺深度マップと呼ばれる縮尺バージョンの深度マップを有する。縮尺深度マップは、水平及び垂直方向の視覚画像の解像度の半分の解像度を持つ。左下象限は、これ以降、縮尺閉塞画像と呼ばれる縮尺バージョンの閉塞画像を有する。右下象限は、これ以降、縮尺閉塞深度マップと呼ばれる縮尺バージョンの閉塞深度マップを有する。] 図１６ 図１７
[0082] ２次のビデオエンコーダＳＶＤＥは、これらの画像がいわゆるピクチャインピクチャ（ＰＩＰ）表示のための通常の視覚画像であるかのように、モザイク画像ＭＩＳのストリームをエンコードする。２次のビデオエンコーダＳＶＤＥは、例えば、ＭＰＥＧ—２又はＭＰＥＧ—４エンコードスキームのような、１次のビデオエンコーダＰＶＤＥのスキームと同様であるエンコードスキームを適用する。従って、２次のビデオエンコーダＳＶＤＥは、閉塞情報だけでなく深度情報を有するモザイク画像を表す２次のビデオデータストリームＳＶＤＳを供給する。]
[0083] コントローラＣＴＲ３は、１次のビデオデータストリームＰＶＤＳ及び２次のビデオデータストリームＳＶＤＳを記録する光ディスクが適切なアプリケーションデータを有することを確実にする。アプリケーションデータは、３次元モードの光ディスクに記録されたコンテンツをレンダリングするためのメニュー項目を有する。アプリケーションデータは、更に、このメニュー項目と関連する特定の再生規定を有する。立体的レンダリングのためのこの再生規定は、再生装置が２次のビデオストリームとして１次のビデオデータストリームＰＶＤＳを処理すべきこと及びその逆を規定する。すなわち、この再生規定は、これらがピクチャインピクチャ画像であるかのように、再生装置に視覚画像を処理させる。]
[0084] マルチプレクサＭＵＸ３は、１次のビデオデータストリームＰＶＤＳ及び２次のビデオデータストリームＳＶＤＳを受信する。マルチプレクサＭＵＸ３は、他のデータストリームを受信してもよい。マルチプレクサＭＵＸ３は、前述されたように図１に図示されるマルチプレクサＭＵＸ３の形式と同様の形式で基本的に動作する。すなわち、マルチプレクサＭＵＸ３は、光ディスクに記録されるべきすべてのデータをディスクデータストリームＤＤＳ３へと効果的に結合する。このデータは、前述のアプリケーションデータを含み、立体的レンダリングのため、再生装置が２次のビデオストリームとして１次のビデオデータストリームＰＶＤＳを処理すべきであり、この逆もあることを当該アプリケーションデータは規定する。光ディスクライターＯＤＷ３は、前述されたように図１に図示される光ディスクライターＯＤＷ１の形式と同様の形式で動作する。従って、図１５に図示されるＰＩＰ適応立体的ビデオ録画システムＲＳＹ３によって記録された光ディスクは、ブルーレイディスク再生装置に関係するシーンの立体的レンダリングを可能にする。新しい標準又はブルーレイディスク標準の拡張のためのニーズがない。] 図１ 図１５
[0085] 前述されたように、図５に図示される再生装置ＰＬＹは、ブルーレイディスクプレーヤを表す。ユーザが、図１５—図１７を参照して前述されたように作られた光ディスクを、プレーヤに正に挿入したとする。最初のフェーズにおいて、主コントローラＣＴＭは、光ディスクに格納されたアプリケーションデータを光ディスクリーダーＯＤＲに読み込ませる。主コントローラＣＴＭは、表示装置ＤＰＬによってメニューをユーザに提示するため、アプリケーションデータを使用する。前記メニューは、例えば、２次元モード又は３次元モードで、所与のタイトルの再生を提案する。ユーザが、光ディスクにあるマルチメディアコンテンツの特定のレンダリングである３次元モードを選択するとする。選択に応じて、主コントローラＣＴＭは、アプリケーションデータに含まれる一つ以上の再生規定に基づいて、再生プロセッサＰＲＰを適切に設定する。主コントローラＣＴＭは、ユーザが選択した特定のレンダリングを確実にするために、他の動作を実施してもよい。] 図１５ 図１７ 図５
[0086] 図１８は、ブルーレイディスク標準に従って、特に高品位映像（ＨＤＭＶ）モードに従って、ディスクデータストリームＤＤＳ３を処理できる再生プロセッサＰＲＰの先進の実行を例示する。この実行は、これ以降先進の再生プロセッサＰＢＡと呼ばれるだろう。先進の再生プロセッサＰＢＡは、種々の機能的エンティティであるフロントエンドモジュールＦＥＭＸ、１次のビデオデコーダＰＶＤ、２次のビデオデコーダＳＶＤ、プレゼンテーショングラフィックデコーダＰＧＤ、インタラクティブグラフィックデコーダＩＧＤを有する。フロントエンドモジュールＦＥＭＸは、図６に例示される基本的再生プロセッサＰＢＢ内のフロントエンドモジュールＦＥＭと機能的に比較されてもよい。１次のビデオデコーダＰＶＤ及び２次のビデオデコーダＳＶＤは、機能的に等価である。] 図１８ 図６
[0087] 先進の再生プロセッサＰＢＡは、更に、スケーリング及び位置決めモジュールＳＣＰ、種々の透明度制御モジュールＴ１−Ｔ６、及び種々の加算モジュールＳ１−Ｓ３を有する。最後に述べた機能的エンティティの組み合わせは、図６に例示された合成モジュールＣＯＭに対応する。符号α１−３は、透明度制御係数を表す。前述のモジュールの何れも適切なソフトウェアプログラムでロードされたプログラマブルプロセッサの形式でもよい。全ての機能的エンティティは、適切にプログラムされた単一のプロセッサに結合されてもよい。] 図６
[0088] 先進の再生プロセッサＰＢＡは、基本的に以下のように動作する。前述の開始フェーズにおいて、フロントエンドモジュールＦＥＭＸは、視覚画像を表す１次のビデオデータストリームＰＶＤＳを２次のビデオデコーダＳＶＤへ付与するように設定された。フロントエンドモジュールＦＥＭＸは、モザイク画像を表す２次のビデオデータストリームＳＶＤＳを１次のビデオデコーダＰＶＤへ付与するように設定された。すなわち、フロントエンドモジュールＦＥＭＸは、いわば、役割の変更を付与するように指示された。１次のビデオデコーダＰＶＤは、モザイク画像ＭＩＳのストリーム、又はむしろその近似を取り出す。２次のビデオデコーダＳＶＤは、視覚画像ＶＩ３のストリーム、又はむしろその近似を取り出す。]
[0089] スケーリング及び位置決めモジュールＳＣＰは、視覚画像をスケーリングする。より正確には、視覚画像は、水平及び垂直方向にファクタ２で減少される。例えば、視覚画像が各ライン１９２０ピクセルを１０８０ライン有するとする。その場合、スケーリングモジュールは、各ライン９６０ピクセルを５４０ライン有するスケーリングされた視覚画像を供給する。スケーリング及び位置決めモジュールは、各ライン１９２０ピクセルを１０８０ライン有する出力画像の左上象限にスケーリングされた視覚画像を置く。透明度制御モジュールＴ１及びＴ２は、出力画像の左上象限をスケーリングされた視覚画像と一致させ、関係する視覚画像と関連するモザイク画像と一致させる。透明度制御係数α３が左上象限内で１に等しいのに対し、この透明度制御係数は、他の象限で０に等しい。従って、スケーリング及び位置決めモジュールＳＣＰは、透明制御モジュールＴ１及びＴ２並びに加算モジュールＳ１により、モザイク画像ＭＩＳのストリームと効果的に組み合わされるスケーリングされ位置決めされた視覚画像のストリームを供給する。]
[0090] 図１９−図２２は、前に説明した先進の再生プロセッサＰＢＡ内で起こるさまざまな画像を例示する。図１９は、関係する光ディスクにある１次のビデオデータストリームＰＶＤＳをデコードすることにより２次のビデオデコーダＳＶＤが供給する視覚画像ＶＩ３を例示する。図２０は、図１９に例示された視覚画像ＶＩ３をスケーリングすることによりスケーリング及び位置決めモジュールＳＣＰが確立するスケーリングされた視覚画像ＶＩＸを例示する。図２１は、２次のビデオデータストリームＳＶＤＳをデコードすることにより１次のビデオデコーダＰＶＤが供給するモザイク画像ＭＩを例示する。モザイク画像ＭＩは、図１９に図示される視覚画像ＶＩ３と関連し、右上象限に深度マップ、左下象限に閉塞画像、及び右下象限に閉塞深度マップを有する。図２２は、スケーリングされた視覚画像がピクチャインピクチャであるかのように、モザイク画像ＭＩのスケーリングされた視覚画像ＶＩＸに重ねることにより得られる出力画像ＯＩＸを例示する。] 図１９ 図２０ 図２１ 図２２
[0091] 従って、先進の再生プロセッサＰＢＡは、特定の領域内の視覚情報、深度情報、閉塞情報及び閉塞深度情報を有する出力画像ＯＩＳのストリームを供給する。図６に例示された基本的再生プロセッサＰＢＢを参照して前に説明されたように、出力画像は、当該出力画像が分割される異なる領域と各異なる領域内で見つけられる情報のタイプとを示すヘッダを有してもよい。従って、表示装置は、図７及び図２２に例示されるもののような異なる出力画像フォーマット間を区別できる。前記表示装置は、適当な形式で出力画像を処理できる。あるいは、表示装置は、特定の出力画像フォーマットを処理するようにあらかじめプログラムされているか、又はレンダリングフェーズの前に初期フェーズにおいてプログラムされてもよい。] 図２２ 図６ 図７
[0092] 図１８に例示される先進の再生プロセッサＰＢＡは、フロントエンドモジュールＦＥＭＸがディスクデータストリームＤＤＳ３からインタラクティブグラフィックデータストリームＩＧＤＳ及びプレゼンテーショングラフィックデータストリームＰＧＤＳを取り出す、従来の形式で動作してもよいことに留意されたい。プレゼンテーショングラフィックデコーダＰＧＤ及びインタラクティブグラフィックデコーダＩＧＤは、前述のデータストリームをデコードすることにより、プレゼンテーショングラフィック画像のストリームＰＧＩＳ及びインタラクティブグラフィック画像のストリームＩＧＩＳそれぞれを供給する。プレゼンテーショングラフィック画像又はインタラクティブグラフィック画像は、トランスペアレント制御モジュールＴ３−Ｔ６及び加算モジュールＳ２、Ｓ３により、視覚画像と結合されてもよい。] 図１８
[0093] 図面を参照して前に詳述された説明は、請求項で規定される本発明及び付加的特徴の単なる例示である。本発明は、多くの異なる態様で実施できる。このことを例示するために、幾つかの代替物が簡単に示される。]
[0094] 本発明は、立体的画像レンダリングを含む何れのタイプの製品又は方法に好適に適用される。図５に例示されるような光ディスクプレーヤを有する立体的レンダリングシステムは、単なる例である。本発明は、例えばブルーレイディスク標準に合致して、データストリームを受信及び処理する例えば受信器に好適に等しく適用できる。斯様なデータストリームは、例えばインターネットのようなネットワークを介して受信器に達する。データ担体は、必ずしも光ディスクの形式である必要はない。例えば、集積回路の形式である書き込み可能なメモリは、本発明による一つ以上の画像をエンコードすることにより得られたデータアセンブリを有してもよい。本発明は、特定のタイプの立体的表示装置を要求しない。詳細な説明で上述された自動立体的表示は、単なる例である。立体的表示装置は、眼鏡の一方のグラスが左目視野又はその一連のシーケンスを通して左目へ行かせ、他方のグラスが右目視野又はその一連のシーケンスを通して右目へ行かせるような観察者に眼鏡をつけることを要求するタイプのものでもよい。斯様な立体的表示装置は、左目視野及び右目視野を交互に表示する。] 図５
[0095] 本発明による画像をエンコードする多くの態様がある。図１及び図１１は、深度マップがグラフィック画像及びＪａｖａ（登録商標）ベースのグラフィック画像それぞれとしてエンコードされる例を示す。他の実施例では、深度マップは、図１５にあるように、閉塞データ及び閉塞深度データと組み合わされる。すなわち、立体可能なデータは、深度情報又は深度情報と閉塞情報との組み合わせ、及び立体的レンダリングを満足させるために貢献する更に他の情報を専ら有する。] 図１ 図１１ 図１５
[0096] 再生装置に利用可能である立体可能なデータを作る多くの異なる態様がある。図５を参照して説明される例では、立体可能なデータは、光ディスク上の視覚データとともに記録された。しかしながら、再生装置ＰＬＹは、ネットワークＮＷ及びネットワークＮＩＦを介して、サーバＳＲＶから立体可能なデータを取り出してもよい。よって、再生プロセッサＰＲＰは、ネットワークインタフェースＮＩＦからネットワークデータストリームＮＤＳの形式で立体可能なデータを受け取ってもよい。光ディスクにあるコンテンツに対する立体化レンダリングモードを選択するユーザは、当該コンテンツと関連する立体可能なデータの斯様な取り出しをトリガする。光ディスクにあるアプリケーションデータは、立体可能なデータが取り出され得る特定のインターネットアドレス又は斯様なアドレスのセットを示す。取り出しは、支払いを前提としてもよい。] 図５
[0097] 表示装置ＤＰＬに転送できる立体化可能な情報が出力画像に含まれ得る多くの種々異なる態様がある。図７は、上位ラインＵＬのセット及び下位ラインＬＬのセットにあるように、立体化可能な情報が含まれる実施例を例示する。他の実施例では、立体可能な情報は、上位ラインＵＬのセット及び下位ラインＬＬのセットに含まれるランダム化された立体可能な情報を得るために、ランダム信号と乗算されてもよい。表示装置は、立体可能な情報を取り出すために、ランダム化された立体可能な情報を対応するランダム信号と乗算できる。斯様な手法は、ユーザが立体的レンダリングを可能にする表示装置を持たない一方で、ユーザが立体的レンダリングのためのメニュー項目を誤って選択する場合に、有利である。斯様な場合、立体可能な情報を含む出力画像が、例えば図７に例示される出力画像のように表示されるだろう。ユーザは、上位ラインＵＬのセット及び下位ラインＬＬのセットを変で目障りなものとして考えるかもしれないが、ユーザが間違いを犯すことはないだろう。立体可能な情報が、ランダム化された形式で出力画像に起こる場合、上位ラインＵＬのセット及び下位ラインＬＬのセットは変で目障りなものとなることが少なくなる。] 図７
[0098] 立体的視覚経験が、本発明に従ってエンコードされた画像で達成できる多くの異なる態様がある。図８は、表示プロセッサＰＲＤが特定のフォーマットの出力画像を検出するように設けられた実施例を例示する。他の実施例では、表示プロセッサは、特定のフォーマットに従った出力画像を解釈し処理するようにあらかじめプログラムされてもよい。更に他の実施例では、表示プロセッサは、立体化可能なデータが存在する一つ以上の特定の領域を識別するため、出力画像又は一連の出力画像を解析してもよい。斯様な自動検出は、立体化可能なデータを有する領域と視覚データを有する領域との間の不連続性がある、統計的解析に基づき得る。その上、不連続性は、各画像で起こるだろう。] 図８
[0099] 図１、図５、図６、図８、図１１、図１５及び図１８に例示される例の何れも、方法の形式で実行されてもよい。すなわち、これらの図に生じるブロックは、方法の一つ以上の特定のステップを表わし得る。例えば、図１のＶＤＥ１で示されるブロックは、ビデオエンコーダと同様にビデオエンコードステップを表す。図１のＧＲＥで示されるブロックは、グラフィックエンコーダと同様に、グラフィックエンコードステップを表す。図１のＭＵＸ１で示されるブロックは、マルチプレクサと同様に、マルチプレクスステップを表すなど、フローチャートとして解釈できる前述の図の各ブロックに対して同様である。] 図１ 図１１ 図１５ 図１８ 図５ 図６ 図８
[0100] ハードウェア若しくはソフトウェア又は両方の品目により機能を実施する多くの態様がある。この観点では、図面は概略的であり、各図は本発明の一つの可能な実施例のみを表す。よって、図面は異なる機能を異なるブロックとして示されているが、このことは、ハードウェア又はソフトウェアの単一の品目が幾つかの機能を実施することを決して除外しない。ハードウェア若しくはソフトウェア又は両方の品目のアセンブリが機能を実施することを除外しない。図２に例示される何れの機能的構成要素も、ソフトウェア若しくはハードウェア又はこれらの組み合わせにより実施されてもよいことに注意されたい。例えば、機能的構成要素は、ソフトウェアを基にした実施であるプログラム可能なプロセッサを適切にプログラムすることにより、又はハードウェアを基にした実施である専用回路の形式で、実行されてもよい。混合の実行は、一つ以上の専用回路だけでなく、一つ以上の適切にプログラムされたプロセッサを含んでもよい。] 図２
[0101] ここで前になされた付言は、参照する図面及び詳細な説明が本発明を制限するというよりはむしろ例示することを示す。添付された請求項の範囲内にある多くの代替物がある。請求項内の参照符号は、請求項を制限するものとみなされるべきではない。用語「有する」は、請求項にあげられたもの以外の他の要素又はステップを除外しない。要素又はステップに先行する用語「ａ」又は「ａｎ」は、複数の斯様な要素又はステップの存在を除外しない。]

权利要求:

請求項1
視覚画像が標準に従ってエンコードされる１次のエンコードステップと、前記視覚画像内のそれぞれの領域と仮想観察者との間のそれぞれの距離を示す、それぞれの値を有する前記視覚画像と関連する立体可能なデータが、関係する前記標準に従って前記視覚画像と結合できる補助画像であるかのようにエンコードされる補助エンコードステップと、前記標準に従って動作するデコード装置により、表示装置に伝達できる出力画像の少なくとも一つの特定領域内に前記立体可能なデータを含ませる、合成規定が供給される合成規定ステップとを有する、立体的レンダリングを可能にする画像エンコード方法。
請求項2
オリジナルの立体可能なデータが、前記補助エンコードステップでエンコードされる前記立体可能なデータを得るために圧縮される圧縮ステップを有し、前記圧縮ステップは、エンコードされる前記立体可能なデータが前記オリジナルの立体可能なデータの解像度より低い解像度を持つように、前記オリジナルの立体可能なデータがサブサンプリングされるサブサンプリングステップを有する、請求項１に記載の画像エンコード方法。
請求項3
前記合成規定ステップにおいて、供給される前記合成規定は、前記出力画像の上位ラインのセット及び下位ラインのセットの少なくとも一方のラインのセットに前記立体可能なデータの一部をデコード装置により挿入させる、請求項１に記載の画像エンコード方法。
請求項4
前記補助エンコードステップにおいて、ＤＶＤ標準又はブルーレイディスク標準という２つの標準の少なくとも一方の標準に従ってグラフィック画像として前記立体可能なデータがエンコードされる、請求項２に記載の画像エンコード方法。
請求項5
前記合成規定は、前記合成規定が前記グラフィック画像と関連する合成セグメントに含まれるフォーマッティングステップを有する、請求項４に記載の画像エンコード方法。
請求項6
前記圧縮ステップは、近似態様で前記立体可能なデータを表す描画像が生成される描画像生成ステップを有し、前記描画像は描画プリミティブにより表せる基本的グラフィック対象物を有し、前記描画プリミティブの少なくとも一つのセットは前記描画像に基づいて生成される、請求項２に記載の画像エンコード方法。
請求項7
前記補助エンコードステップにおいて、前記描画プリミティブはブルーレイディスク標準に従ってインタラクティブグラフィックデータストリームに含まれるＪａｖａ（登録商標）プログラムの形式で表される、請求項６に記載の画像エンコード方法。
請求項8
前記補助エンコードステップにおいて、前記立体可能なデータはピクチャインピクチャ形式で表示されるべき補助視覚画像としてエンコードされ、前記合成規定ステップにおいて、供給される前記合成規定は、前記補助視覚画像が主要視覚画像であって前記視覚画像がサブ画像であるかのように、関係する前記デコード装置により前記視覚画像の縮尺されたバージョンをピクチャインピクチャ形式で前記補助視覚画像に挿入させる、請求項１に記載の画像エンコード方法。
請求項9
前記視覚画像のそれぞれの領域と前記仮想観察者との間のそれぞれの距離を示すそれぞれの値を有する前記立体可能なデータが、深度マップと、前記視覚画像内の一つ以上の前景の対象物により少なくとも部分的に閉塞される一つ以上の背景対象物を表す少なくとも一つの閉塞画像とのモザイクにより形成されるモザイク画像形成ステップを有する、請求項８に記載の画像エンコード方法。
請求項10
立体的レンダリングのための項目が選択されるとき、前記デコード装置が、前記表示装置に伝達されるべき前記出力画像の前記少なくとも一つの特定の領域に前記立体可能なデータを含むように、前記立体的レンダリングのための前記項目が前記合成規定と関連する、立体的レンダリングのための前記項目を有するメニューが規定されるメニュー規定ステップを有する、請求項１に記載の画像エンコード方法。
請求項11
標準に従って視覚画像を表す１次のエンコードされたデータと、前記視覚画像内のそれぞれの領域と仮想観察者との間のそれぞれの距離を示す、それぞれの値を有する立体可能なデータが、関係する前記標準に従って前記視覚画像と結合できる補助画像であるかのように、前記視覚画像と関連する立体可能なデータを表す補助エンコードデータと、前記デコード装置により、表示装置に伝達できる出力画像の少なくとも一つの特定領域内に前記立体可能なデータを含ませる合成規定データとを有する、データ担体。
請求項12
標準に従って視覚画像をエンコードする１次のエンコードモジュールと、前記視覚画像内のそれぞれの領域と仮想観察者との間のそれぞれの距離を示す、それぞれの値を有する立体可能なデータが、関係する前記標準に従って前記視覚画像と結合できる補助画像であるかのように、前記視覚画像と関連する立体可能なデータをエンコードする補助エンコードモジュールと、前記標準に従って動作するデコード装置により、表示装置に伝達されるべき出力画像の少なくとも一つの特定領域内に前記立体可能なデータを含ませる合成規定を供給する合成規定モジュールとを有する、画像エンコーダ。
請求項13
標準に従って視覚画像を表す１次のエンコードされたデータと、前記視覚画像内のそれぞれの領域と仮想観察者との間のそれぞれの距離を示す、それぞれの値を有する立体可能なデータが、関係する前記標準に従って前記視覚画像と結合できる補助画像であるかのように、前記視覚画像と関連する立体可能なデータを表す補助エンコードデータと、デコード装置により、表示装置に伝達されるべき出力画像の少なくとも一つの特定領域内に前記立体可能なデータを含ませる合成規定データとを有する信号を処理するプロセッサを有する画像デコーダであって、前記プロセッサが、前記立体可能なデータを有する前記出力画像内に少なくとも一つの特定領域の指標を、前記出力画像に埋め込まれるヘッダの形式で供給する、画像デコーダ。
請求項14
プログラマブルプロセッサへロードするとき、請求項１に記載の画像エンコード方法を前記プログラマブルプロセッサに実施させる命令のセットを有するコンピュータプログラム。